跳到主要内容

采样策略

模型每一步输出的是一个"下一个 token 的概率分布"——V 维的向量,softmax 之后加起来是 1。具体挑哪个 token 变成实际输出,就是采样策略要做的事。

这一步看起来简单——"挑一个概率大的不就完事了"——但实际上它对生成质量的影响非常大。挑得太"贪",输出干瘪重复;挑得太"随机",输出乱七八糟。这一章我们把这里面的门道理一遍。

1. 最朴素的做法:Greedy​

贪心解码(Greedy Decoding):每一步直接选概率最高的那个 token。

ti+1=arg⁡max⁡vP(v∣t1,…,ti)t_{i+1} = \arg\max_v P(v \mid t_1, \dots, t_i)

它最好理解,也最容易实现。问题在哪?

第一,输出会很单调、重复。因为它永远选"最保险"的那个 token,句子容易陷入循环。你会看到"我很开心,我很开心,我很开心……"这种输出——每一步"我很开心"后面接"我很开心"的概率都是局部最高。

第二,全局最优 ≠ 每步最优。贪心是在做局部最优。举个例子:假设"the"这个 token 概率 0.4、"a"是 0.3——贪心选"the"。但如果后面接"a apple is red"总概率能到 0.5、"the apple is red"总概率只到 0.3,全局上应该选"a"。贪心看不到这种全局收益。

Greedy 只在低熵、确定性任务里合适——比如翻译、代码补全。开放式生成(对话、写作)里几乎没人用它。

2. Beam Search:拓宽视野​

Beam Search(束搜索) 是对贪心的一个改进。它每一步保留 top-k 个候选序列(k 叫 beam size),一直往前走,最后选累计概率最高的那个。

假设 beam=3、词表 V=50k:

  • 第 1 步:从 50k 个 token 里选 top-3;
  • 第 2 步:这 3 个序列每个再扩展出 50k 个候选,共 150k,从中选累计概率 top-3;
  • 第 3 步:150k 里再选 top-3;
  • ……

比 greedy 探索得广,能找到全局更优的序列。在翻译、摘要这类"确定性输出"任务里效果很好。

但用在开放式生成里,beam search 反而更糟——它比 greedy 更"求稳",输出更单调、更容易重复。而且长度归一化是个大坑:直接累计 log 概率的话,序列越长概率越低,beam search 会偏向短句。要加长度归一化项。

结论:现代 LLM 对话生成很少用 beam search。它主要活在传统 NMT(机器翻译)系统里。

3. 随机采样:真正让生成活起来​

既然 greedy/beam 会让输出单调,那为什么不直接按概率分布随机采样?

概率高的 token 被采到的概率大、概率低的被采到的概率小——这样既保留了模型判断,又引入了随机性。多次生成同一 prompt 会得到不同结果。这符合我们对"创造性"的直觉。

朴素随机采样的问题:低概率长尾也会被选到。词表 V=50k,就算每个词概率只有 1e-6,加起来"选到某个稀奇古怪 token"的概率也不小。偶尔选到一个奇怪的 token,就把生成带偏了——模型开始胡言乱语。

所以直接采样不能用,我们要先把长尾截掉再采样。这就是 top-k 和 top-p 要解决的问题。

4. Top-K:只从前 K 个里挑​

Top-K 采样:每一步只考虑概率最高的 K 个 token,把其他所有 token 的概率置零,重新归一化,然后按新分布采样。

假设 K=50:

  • 从 50k 个 token 里挑概率 top-50;
  • 剩下 49950 个直接扔掉;
  • 前 50 个的概率重新归一化到和为 1;
  • 采样。

这样长尾就被彻底截断了,避免了"选到奇怪 token"的问题。

问题在于:K 是固定的,但概率分布形状不固定。

  • 低熵分布(模型很自信,比如代码补全 def hello_):前 5 个 token 的概率就 99%,你选 K=50 相当于把 45 个几乎没意义的 token 也纳入考虑,反而引入噪声。
  • 高熵分布(比如开放对话 今天心情...):前 50 个可能只占 40% 概率,剩下 60% 你都扔了——限制太严。

一句话:Top-K 用一个静态的数字应付动态的分布,不够灵活。

5. Top-P(Nucleus Sampling):按概率累积截断​

Top-P(核采样,Nucleus Sampling) 换了个思路:不固定选前 K 个,而是选累计概率达到 p 的最小集合。

假设 p=0.9:

  • 按概率从大到小排序;
  • 一个一个累加,直到累加概率超过 0.9;
  • 用这个集合来采样。

这就是"动态 K"——低熵分布下 K 自动变小(前几个就够 0.9 了),高熵分布下 K 自动变大(要凑到 0.9 需要更多 token)。

Top-P 是现代 LLM 生成的主流方案。常用 p 在 0.9-0.95 之间。

Top-K 和 Top-P 也经常一起用:先按 Top-K 截一个粗糙的候选集,再按 Top-P 精修。绝大多数 API 都同时支持这两个参数。

6. Temperature:调节分布的"陡峭"​

前面所有采样都是在"归一化后的概率分布"上操作。还有一个非常常用的参数调节这个分布本身——Temperature(温度)。

在做 softmax 之前,把 logits 除以 T:

P(v)=exp⁡(zv/T)∑v′exp⁡(zv′/T)P(v) = \frac{\exp(z_v / T)}{\sum_{v'} \exp(z_{v'} / T)}
  • T = 1:不改变,原始分布;
  • T < 1(比如 0.7):logits 差距被放大,分布变陡,高概率 token 更高、低概率更低——"更确定";
  • T > 1(比如 1.5):logits 差距缩小,分布变平,采样更随机——"更有创意";
  • T → 0:分布无限接近 one-hot,等价于 greedy;
  • T → ∞:分布无限接近均匀分布,等价于纯随机。

一个直观的用法:

  • 代码生成、结构化输出:T 调低(0-0.3),要确定性;
  • 一般对话:T = 0.7 左右;
  • 创意写作、诗歌:T 调高(0.9-1.2),要变化。

Temperature 和 top-p 是互补的:temperature 调"分布的形状",top-p 调"截断的位置"。两者组合覆盖了大多数需求。

7. Repetition Penalty:打压重复​

自回归生成有一个老毛病——容易重复。"我很开心我很开心……"、"the the the the……"。

一个简单的补丁:Repetition Penalty。对已经出现过的 token,把它们的 logits 除以一个惩罚因子 α(一般 α=1.1 或 1.2)。

zv←{zv/α如果 v 已经出现过zv否则z_v \leftarrow \begin{cases} z_v / \alpha & \text{如果 } v \text{ 已经出现过} \\ z_v & \text{否则} \end{cases}

已经出现的 token 分数被压低,再次被选的概率降下来。

但这也是双刃剑。有些 token 就是应该重复的——比如"的"、"是"这种功能词,比如代码里的关键字 if、else。惩罚过度会让输出变得别扭。所以 α 不能太大。

变体:presence_penalty 和 frequency_penalty(OpenAI API 的参数)。前者是"只要出现过就减一个固定值",后者是"出现次数越多减越多"。这两个比 repetition_penalty 更细粒度。

8. Stop Sequences:让模型停下来​

模型什么时候停?有两种情况:

遇到 EOS token(<|endoftext|> 或者对话模型里的 <|im_end|>)——模型自己表示"我说完了"。这是最自然的停止。

遇到自定义 stop sequence——你告诉推理引擎"看到某个特定串就停"。比如 few-shot 提示里可能设 "\n\nQ:" 为 stop,让模型在生成下一个问题之前停下。

Stop sequence 是在文本层面判断的(token 序列有可能跨 token 边界),实现的时候要把新生成的 token 拼到已有输出上,做字符串检查。

Max tokens 是硬顶。任何 stop 条件都没触发的话,生成到 max_tokens 强制停。

9. 参数怎么组合起来用​

一个典型的对话生成参数组合:

{
"temperature": 0.7,
"top_p": 0.9,
"top_k": 50,
"repetition_penalty": 1.1,
"max_tokens": 1024,
"stop": ["<|im_end|>"]
}

代码生成往这样调:

{
"temperature": 0.2,
"top_p": 0.95,
"max_tokens": 2048,
"stop": ["```\n\n"]
}

创意写作:

{
"temperature": 1.0,
"top_p": 0.95,
"repetition_penalty": 1.15,
"max_tokens": 2048
}

这些不是固定公式,需要根据具体模型和任务调。一般的调参思路:

  1. 先固定 top_p=0.9、rep_penalty=1.1;
  2. 调 temperature——太单调就升、太乱就降;
  3. 如果生成还有重复,把 rep_penalty 微调到 1.15-1.2;
  4. 如果生成太保守,top_p 上调到 0.95。

10. Structured Output:约束采样​

有时候你需要模型输出严格符合某个格式的内容——JSON、SQL、正则匹配的字符串。让它自由采样有概率生成不合法的输出。

约束采样(Constrained Decoding):在每一步采样时,只允许 token 集合里"能让下一步仍然合法"的那些。

比如你要输出 JSON,当前状态是 {"name": ",那下一个 token 必须是"能延续一个合法字符串"的 token。所有会立即让输出不合法的 token 都被禁掉。

主流实现:

  • outlines、lm-format-enforcer:基于正则/语法的约束采样;
  • JSON mode(很多 API 提供):内部做的就是约束采样。

约束采样的代价:每一步都要维护一个"合法 token 集合",可能比较慢,尤其复杂语法。但它给的是100% 保证——生成的输出一定符合格式。

11. 一些容易踩的坑​

Temperature=0 不等于确定性。虽然逻辑上 T=0 等价于 greedy,但很多 GPU 实现里 T=0 的除法会溢出。API 里的 T=0 通常是内部做了 argmax 的替换。而且即使是 greedy,因为 GPU 浮点运算的非确定性(比如 CUDA kernel 里的原子加),两次运行不一定完全一样。要严格复现需要设 torch.use_deterministic_algorithms(True)。

Top-K 和 Top-P 的顺序。大多数实现是"先 top-k、再 top-p"——先砍掉长尾,再从头部选核。这个顺序是几乎不影响结果的经验设定。

Stop sequence 和 tokenizer 冲突。你设 stop="\n\n",但模型输出的 token 可能是"abc\n\n"——一个 token 内嵌了停止串。stop 判定时要在已生成的完整字符串上做,不能只判定单个 token。这个错误很多自己写推理循环的人会踩。

Beam search + top-p 是矛盾的。beam search 是为了求"最优确定序列",top-p 是为了引入随机性。混用意义不大。开放式生成用 top-p,确定性任务用 beam。

Repetition penalty 会误伤实体名。如果一段文本反复提到"张三",rep_penalty 会让"张三"越来越难被生成,最后模型可能突然改叫"李四"。这时候 presence_penalty(只惩罚一次)更合适。

12. 一句话总结​

采样是从 logits 到 token 的最后一步:

  • Greedy / Beam 求确定,适合翻译代码;
  • Top-K / Top-P 截长尾,是通用做法;
  • Temperature 调分布陡峭,控制"创造力";
  • Repetition penalty / stop / max_tokens 是收尾控制。

没有"最好的采样参数",只有"适合当前任务的参数"。一个健康的直觉:温度和 top-p 是主开关,别的都是补丁。

下一章我们进入训练后阶段——SFT:怎么让一个只会续写的 base model 学会跟人对话。